Is Position Bias in Dense Retrievers Built In-or Learned from Data?
密集检索器的位置偏差是内置还是源自训练数据？
🧭 检索增强生成中的位置偏差分析
Sionic AI
通过控制训练数据中证据位置分布，发现位置偏差主要由训练数据偏斜导致，平衡训练可显著缓解偏差。
📌 工作参考价值（4 点）
- 训练数据平衡策略：在电商搜索/推荐召回模型训练中，刻意平衡正样本中关键信息的出现位置（如商品标题、描述的头部、中部、尾部），可减少模型对文档起始位置的过度偏好，提升长尾商品的召回机会。
- 评估基准设计：构建位置感知的评估集，检测线上召回服务是否存在位置偏差，尤其对 RAG 或基于文档的推荐场景，防止因信息靠后而被忽略。
- 微调阶段偏差矫正：微调预训练模型时，即使基础模型有内置的位置偏好，通过平衡的位置分布数据仍能有效重塑其行为，这对迁移学习到垂直领域（如法律、医疗文书）有指导意义。
- 多文档输入的结构化处理：在 Agent 多文档推理或 RAG 流水线中，可对输入文档进行预处理，如抽取关键段落重排或添加位置无关的提示，以降低下游任务受原始文档位置偏差的影响。